多样教师在线策略蒸馏用于生成式推荐
🧭 生成式推荐 · On-Policy Distillation 消偏 ★ 深度解读
University of Science and Technology of China · National University of Singapore · Alibaba Group
提出 HERO，通过异构教师路由和多样性物品 rollout 缓解生成式推荐中 on-policy distillation 的流行度偏差
📌 工作参考价值（4 点）
- 在生成式推荐做蒸馏时，不要用单一教师，可以按物品流行度分组训练两个专家教师（head/tail），训练样本根据 ground-truth item 的流行度路由到对应教师，能有效缓解头部偏差。
- 在 on-policy 训练中，学生生成的路径容易偏向头部物品，导致冷门 SID 路径很少被监督。可额外将冷门物品的真实 SID 前缀加入蒸馏损失（tail-path GT-KL），提高尾部路径的覆盖率。
- 该方法只更新学生模型，教师冻结，推理时仅用学生，不增加在线推理成本，工程实现简单，适合快速上线验证。
- 评估生成式推荐时不要只看整体 Hit，应同时关注 DTR（需求-曝光比）和 ORR（头部重复推荐占比），避免准确率提升掩盖流行度偏差的加剧。
学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏
🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读
Beijing Jiaotong University · Weixin AI, Tencent
在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标
📌 工作参考价值（3 点）
- 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
- 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
- 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。
序数在策略蒸馏：只学教师 Top-K 排序
🧭 LLM 知识蒸馏 · 序数监督
University of Memphis · University of Missouri
O3PD 在策略蒸馏中只复现教师 top-K token 排序，不拟合概率值，对温度不变并在数学推理上全面优于 OPD
📌 工作参考价值（4 点）
- 在蒸馏 LLM 到线上小模型时，不要强制小模型拟合教师 soft probabilities 的绝对数值，尤其当教师温度需要搜索时；改用 top-K 排序监督（如 ListMLE、RankNet）可省去温度调参，训练更稳定。
- 生成式推荐/query 生成的 on-policy 蒸馏中，教师概率值混杂其自身校准与置信度，小容量学生难以复现；只保留序数信息能降低容量要求，让模型专注学习候选 token 的相对好坏，适合电商 query 推荐、广告文案生成、推荐理由生成等场景。
- 若已有 OPD 流水线，可将 loss 替换为对 teacher top-K logits 的 ranking loss，保留 on-policy 生成模式；数学推理任务上的 +2.9 平均分提升说明该 trick 在复杂生成任务上可能有效。
- 对 Agent 策略蒸馏的启示：当学生策略模型容量有限时，教师动作分布的序数偏好可能比概率值更重要，可以在策略优化中借鉴序数监督。
Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
🧭 LLM 多教师蒸馏与 MoE 执行加速 ★ 深度解读
Foundation Model Team, XPeng Inc.
提出校准多教师在线蒸馏（C-MOPD）与动态 MoE 执行优化，四域能力整合分数达 0.9988 并实现 2.86 倍步骤加速
📌 工作参考价值（4 点）
- 多任务/多场景模型统一：电商搜索/推荐常需同时优化相关性、点击率、GMV、内容质量等多个目标。可仿照 C-MOPD，先对每个目标/场景独立训练 RL specialist，再用多教师在线蒸馏整合到单一学生模型；冻结教师 + 学生在线 rollout 能缓解 exposure mismatch，保留各域增益。
- 蒸馏 loss 校准：不同任务的 token-level loss 尺度往往差异大，直接加权容易让大尺度任务主导。C-MOPD 的 teacher-wise loss-scale normalization（对每个 teacher 的 token losses 求标准差并做缩放、裁剪）简单有效，可在多目标蒸馏、Agent 多能力整合中直接使用，降低调参成本。
- 生成式推荐中的 Top-K 匹配：对于生成式 item token / semantic ID 的蒸馏，只匹配 teacher 的 Top-K token 分布可以避免学生被迫学习不相关长尾 token，减少计算和训练不稳定；同时 teacher-local renormalization 确保 student 的概率质量集中在有效支持内。
- 动态 MoE 训练/推理优化：如果业务模型采用动态 MoE（token 自适应专家数），RW32 这样的 width bounding 加 final-route replay 可保证训练与推理 router 一致性，减少显存和通信开销；异步 rollout 与 actor 更新重叠是通用的 RL 训练加速手段，可迁移到大规模 Agent/推荐 RL 训练。
KL-MOPD：面向生成式推荐的多目标在线策略蒸馏
🧭 生成式推荐 · 多目标蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group · Alibaba International Digital Commerce Group
用初始学生与教师 token 级 KL 差异加权，解决生成式推荐多目标蒸馏中的 token 级不平衡，提升联合目标
📌 工作参考价值（4 点）
- 在生成式推荐（Semantic ID 逐 token 解码）中，多目标融合要下沉到 token 级做 on-policy 蒸馏，而不是只做 item 级 loss 或分数融合；否则中间步骤的 token 错误会直接导致正样本检索失败。
- 工程实现上，先用 initial student 和两个 teacher 计算每个 token 的 KL 散度，得到权重 alpha_{j,t} 并预计算一次；训练时直接作为 token 蒸馏 loss 的加权系数，不增加额外前向/反向开销，适合线上大规模部署。
- 若已有 CTR、CVR/GMV 等单目标 teacher，可以直接套用该加权方法：在每个 token 上给离学生更远的 teacher 更高权重，优先补强当前步骤的薄弱目标，缓解解码后期某目标被忽略的问题。
- 电商广告场景验证：十亿级工业数据离线 joint metric +3.19%，线上 A/B 广告收入 +1.63%、GMV +2.20%，说明 token 级多目标蒸馏能带来真实业务收益。
基于 On-Policy 自训练的数据无关大语言模型自我改进
🧭 LLM 自训练 · 数据自由自我改进
Google · Ulm University
用高层主题描述合成问答与推理轨迹，在无外部监督下完成 on-policy 自蒸馏并跨领域提升模型能力
📌 工作参考价值（4 点）
- 在搜索/推荐场景中，仅凭类目或主题描述即可为模型合成针对性训练数据，显著降低人工标注 query-答案对的成本，可用于意图识别、query 改写、推荐理由生成等任务的领域适应。
- 将 on-policy 自蒸馏用于对话式推荐 Agent：让模型自己生成用户 query 和响应轨迹，再用自身生成的高置信度推理作为 dense token 目标，减少 offline SFT 的 exposure bias，改善在线交互表现。
- 合成 privileged reasoning traces（如逐步决策过程）并对模型进行蒸馏，可迁移到电商多步推理场景，例如购物决策路径生成、广告创意推理、客服多轮对话策略优化。
- 该框架不依赖外部教师模型，适合在业务数据敏感、无法调用 GPT-4 等外部 API 的私有化部署环境中做持续自我改进，且能保留非训练领域能力，降低灾难性遗忘风险。
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。
UserArena：长程购物 Agent 交互式用户模拟基准
🧭 用户模拟器 · 长程购物 Agent 基准 ★ 深度解读
Leiden University · Renmin University of China · Alibaba Group · Institute of Computing Technology, Chinese Academy of Sciences
构建真实电商长程交互基准与五级评估协议，并提出 on-policy trajectory distillation 提升用户模拟器保真度
📌 工作参考价值（4 点）
- 借鉴五级评估协议（L0-L4）构建业务用户模拟器验收流程：从动作解析有效率、下一步行为准确率、到序列分布和群体分层保真，最后对比策略 A/B 效果；尤其关注不平衡动作（如滚动占38%）用宏观 F1 而非微平均。
- OPTD 的训练策略可迁移到序列决策模型的离线训练：用 trajectory-level intent 作为 teacher 的 privileged context，在 student 自己的 rollout 上做 token-level 蒸馏（JSD），并用 trust region 限制意图影响，可减少 exposure bias 和稀疏监督，提升长程一致性。
- 建立模拟器-线上校准闭环：将相同策略对在模拟器中对比效果，与生产 A/B 效果比较（如 effect ratio 和 error），确保模拟器结论可指导业务决策；OPTD 达到 0.713× effect ratio，远好于通用大模型。
- 数据层面：整合用户跨会话长期行为（平均 10+ 会话）来训练和评估模拟器，比单会话更能揭示行为惯性；可结合用户属性、视觉上下文、完整动作空间来提升模拟器保真度。
Ask-to-Distill：学习为策略蒸馏合成数据
🧭 LLM蒸馏 · 合成数据优化
University of Illinois Urbana-Champaign · The Hong Kong University of Science and Technology · Texas A&M University
用教师-学生分布分歧作为无答案信号，训练合成器生成能暴露教师监督的问题，提升on-policy蒸馏效率。
📌 工作参考价值（4 点）
- 无标注数据价值评估：在电商搜索/推荐中，当用LLM生成训练样本（如query改写、商品描述、用户意图）时，可借鉴教师-学生分歧+兼容性作为样本价值代理，无需人工标注或正确答案即可筛选高价值样本。
- 低成本的迭代数据合成：冻结学生-教师对计算奖励，避免每个候选样本都更新学生模型，大幅降低合成数据筛选的计算开销，适合业务中大规模生成候选后过滤。
- 分布诱导器思路：将生成器训练为“引出教师知识”的提问者，可迁移到Agent场景——让模型学会生成能暴露教师策略优势的任务，用于自我提升或策略蒸馏。
- 长度与多样性控制：在合成训练数据时加入长度惩罚和多样性奖励，可防止模型退化到短平快样本，保证覆盖长尾场景，对推荐系统的长尾物品描述生成有参考价值。
免训练的 On-Policy 蒸馏
🧭 无训练模型蒸馏与多专家聚合
University of Illinois at Urbana-Champaign · Tsinghua University
提出免训练 on-policy 蒸馏，仅用前向传播和最小二乘逐层合并多个专家模型，无需梯度更新
📌 工作参考价值（4 点）
- 多领域专家模型合并：若业务中有多个针对不同场景（如推荐、搜索、广告）微调的模型，可借鉴 TF-OPD 通过前向计算几百个 rollout 提取输入二阶矩，逐层最小二乘融合，无需联合训练，节省算力和迭代时间。
- 模型融合的精度提升：相比简单 task arithmetic 权重平均，逐层最小二乘匹配专家输出分布能保留更多能力；在推荐模型做多目标融合或跨域迁移时可引入此方法提升融合质量。
- 数据筛选策略：论文发现去除重复循环的生成 token 显著提升融合效果（AIME25 从 task arithmetic 水平到专家水平），提示在蒸馏或融合数据准备中应重点清洗低质量重复内容，避免噪声影响层权重估计。
- 工程部署：融合只需每专家数 GPU 小时的前向计算，适合快速将多个专家模型合并为通用模型上线，尤其适用于需要频繁更新多领域能力的 Agent 或推荐系统。
失败乃成功之母：用有依据的事后反思重放恢复 GRPO 监督
🧭 强化学习训练 · 失败恢复监督 ★ 深度解读
University of California, San Diego · Adobe Research · University of Virginia · University of Toronto · University of New South Wales
提出 RSHD：从失败 rollout 写纠正笔记，经重放效果筛选和防泄漏后蒸馏回 plain-prompt，在 GRPO 全失败组上恢复监督信号
📌 工作参考价值（4 点）
- 如果你在业务中用 GRPO/RLVR 微调 Agent 或 LLM（如对话式购物 Agent、query 改写、推荐文案生成），当一组 rollout 全部失败时 GRPO advantage 为零，这些 hardest cases 完全被浪费。可借鉴 RSHD：对失败轨迹写不超过 80 词 corrective note，但不看参考答案；用原组 no-note 成功率作为 baseline，只保留 replay 成功率高于 baseline 的 note；再把带 note 的成功续写蒸馏回 plain-prompt，推理时零额外开销。
- 工程实现上，note 搜索可直接在 TRL GRPOTrainer 上加两个 hook，复用现有 vLLM server；训练 token 约翻倍但只在训练期。对业务中失败率高的长尾难题尤其有效：论文按 base 模型 0/8 成功率分层，RSHD 较 GRPO 的收益几乎全部落在“从不成功”的样本上，简单样本基本不退化。
- 安全与防泄漏不可省：论文观察到约 9% 的 note 直接写出参考答案，约 60% 未通过 replay 测试。复用时要保留“字符串匹配检测答案 + replay 效果筛选”，而不是直接信任 note 文本做蒸馏，否则会引入泄漏或强化错误诊断。
- 训练细节可复用：蒸馏权重用带 note 与不带 note 的 log-prob 正 lift 并 clip 到 [0,2]，只更新 plain-prompt student，teacher stop-gradient；当没有 note 被保留时该步完全退化为 GRPO，避免噪音。这个机制对业务中 RL 微调 Agent 的稀疏奖励场景很实用。
ActionOPD：蒸馏决策，而非令牌
🧭 Agent 动作级在线蒸馏 ★ 深度解读
Tsinghua University
提出动作级在线蒸馏，用语义一致奖励替代 token 概率，实现跨模型家族黑盒 teacher 蒸馏
📌 工作参考价值（4 点）
- 做对话/工具型业务 Agent（如导购、售后、广告投放助手）时，可用强模型作为黑盒 teacher，只采样其动作，不需要 logits 或同 tokenizer；学生模型用语义匹配奖励做 PPO 更新，teacher 选择只看决策质量，便于跨模型家族蒸馏。
- 语义匹配奖励可复用：工具调用先程序化比较工具名和规范化参数（忽略 dict key 顺序、归一化整数浮点），剩余差异交给冻结 LLM；消息比较意图和事实内容，不比较 reasoning token。适合电商 Agent 的动作一致性评估。
- state-group rollout + group-relative advantage：每步采 4 个候选，选最高奖励动作执行，但所有候选都参与训练，用组内均值做 baseline。可缓解 on-policy 漂移并提高样本效率，适合多轮对话策略优化。
- 奖励设计上，invalid 动作给 -1，valid 无匹配给 0，首个匹配给 1，额外匹配给频率 bonus；可降低稀疏语义匹配的方差。但 teacher 动作错误会传播，业务中需对 teacher 动作做有效性过滤或人工审核。
哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。
重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。
自教师与学生同步：联合在策略学习与教学
🧭 LLM 强化学习 · 自蒸馏训练 ★ 深度解读
Perplexity · NVIDIA
提出JOLT联合训练特权教师与无特权学生，使蒸馏梯度与奖励梯度一致，提升样本效率和最终性能
📌 工作参考价值（4 点）
- 在训练LLM-based推荐/搜索/Agent模型时，若存在特权信息（如用户真实反馈、人工标注、高质量参考），可采用JOLT模式：同一模型联合训练特权教师和无特权学生，教师用KL正则化向学生，避免教师走捷径导致蒸馏信号与奖励梯度相悖。
- 对于稀疏奖励的长程任务（如多轮对话推荐、会话转化优化），JOLT的密集token级监督可大幅提高样本效率；教师可接收用户反馈摘要、历史成功策略等作为privileged context。
- 工程实现简单：共享参数的教师和学生分别生成轨迹，使用logprob ratio作为token权重，结合group advantage归一化，无需额外教师模型。
- 超参数经验：教师KL β_T 和学生蒸馏 β_S 宜设较小值（如β_T=0.001~0.03, β_S=0.1），过大会训练不稳定；学生奖励可用时，JOLT+补充直接RL可进一步提升。
组合各教师所学：基于教师相对偏移的多教师在线蒸馏
🧭 多教师在线蒸馏 · 目标构建优化 ★ 深度解读
Iowa State University · LinkedIn · Harvard University
提出教师相对基座 logit shift 作为多教师在线蒸馏目标，消除基座偏好，提升组合信号均衡与效率
📌 工作参考价值（4 点）
- 多教师信号融合（如多域专家蒸馏到统一推荐/Agent 策略）时，不直接聚合教师输出，而计算每个教师相对其基座模型的 logit 偏移（teacher-minus-base），再统一锚定到学生初始化 logits，消除基座偏好，避免单一教师主导。
- 工程上需为每个教师保存/加载基座 checkpoint 做额外前向，单步开销增加 12%-27%，但可节省总 GPU 小时（本实验 35% H100-hours）；基座可得且推理成本可接受时优先采用该目标。
- 在多教师蒸馏前，用 norm ratio、cancellation、cosine 等几何指标监控教师项是否均衡；若 norm ratio > 5，说明某个教师的基座偏好显著主导，需做 shift 归一化或校准（如温度调节）再组合。
- 多阶段课程（如先搜索、后推荐、再 Agent 指令）或多域路由训练中，shift 目标能降低训练顺序对结果的影响（顺序差距从 10.50 降到 6.42 pp），对迭代流程更鲁棒。
On-Policy 蒸馏教技能不教知识
🧭 On-policy 蒸馏的知识/技能迁移机制 ★ 深度解读
The Hong Kong University of Science and Technology
reverse-KL on-policy 蒸馏主要迁移组合推理技能，几乎不迁移事实知识；改用 forward KL 才能迁移新事实
📌 工作参考价值（4 点）
- 如果目的是给推荐/搜索/Agent 的轻量 LLM 注入新事实（新品知识、活动规则、2026 新实体、query 改写约束），别只靠 reverse-KL OPD；优先 teacher-demo forward KL 或 SFT，否则学生仍用旧记忆生成错误答案。
- 如果目的是提升多跳推理/规划（商品属性组合、优惠规则计算、对话策略树状拆分），可用 student rollout + reverse KL 的 OPD，重点放在组合执行，不引入新事实。
- 混合目标如 ToDi 可同时获得事实与组合提升，在蒸馏预算有限时可替代单纯 reverse KL；GKD/EOPD 仍偏技能迁移。
- 事实与技能更新在 LoRA 子空间近似正交：事实更新集中在末层，组合技能集中在浅/中层。可为知识更新和推理能力使用独立 LoRA 分支或分层学习率，减少互相干扰。
基于负策略轨迹的在线蒸馏
🧭 LLM 训练 · 在线蒸馏负样本 ★ 深度解读
NAVER AI Lab
在 OPD 的 rollout 阶段混入低能力负策略轨迹，不改变奖励公式即可注入显式负信号，显著提升推理性能。
📌 工作参考价值（4 点）
- 在 LLM 微调/蒸馏中引入弱模型负样本 rollout：如果业务中有同模型系的低能力版本（如小参数量的 base 或旧版模型），可以将其作为负策略，按一定比例混入 on-policy 训练 batch，不动 reward 即可让模型远离低质量输出，相当于给 OPD 加了一个“反向参考”。
- 负策略 rollout 可以预生成并缓存复用：论文显示纯负策略 rollout（α=1）时，训练时间从 9h19m 降到 3h34m（排除预生成），这对落地 LLM 蒸馏训练的成本优化很实用。
- 负样本选择有讲究：不是随便用差模型，而是同模型家族、能力明显低于 student 的版本；简单加大 temperature、persona prompt 或 drop layer 等降级 student 的方法也能带来少量提升，但远不如单独负策略（+3.4 vs +0.9~1.0 avg）。
- 可复用分析指标 NSP/NOR 做训练调试：NSP 衡量抑制是否集中在负策略偏好 token 上，NOR 衡量学生与负策略的重叠是否下降；二者与最终性能正相关，可用于监控负信号是否按预期生效。
跨分词器在线策略蒸馏再思考：从对齐覆盖到监督可靠性
🧭 跨 tokenizer 蒸馏优化 ★ 深度解读
Alibaba Cloud Computing
跨 tokenizer 在线蒸馏中，严格 1:1 对齐已覆盖多数 token；学生选 top-16 共享词表即可保留大部分收益，补 mismatch span MSE 反而降精度
📌 工作参考价值（4 点）
- 做跨 tokenizer / 跨模型蒸馏时，可先只对严格 1:1 对齐位置做 shared vocabulary 上的 reverse KL，并让学生自选 top-k（如 top-16）词表子集；这能压缩计算和显存，同时保留大部分蒸馏收益。适合生成式推荐中不同 tokenizer 的 Semantic ID 序列蒸馏。
- 新增辅助监督（如 mismatch span MSE、多任务损失）前，先做梯度方向与相对幅度诊断：计算 g_mis 与 g_strict 的 cosine 和 norm ratio；若 cosine 接近 0/负、norm ratio 随训练上升，大概率引入冲突信号，应降低权重或丢弃。
- 评估“监督覆盖”不要只看静态词表 Jaccard，要看 student rollout 上 strict token coverage 以及共享词表实际概率质量；工程上采样几十条 rollout 即可快速判断是否值得做复杂对齐。
- 在 Agent 或推荐 LLM 的蒸馏中，若希望提升 teacher 信号覆盖，不要盲目追求全位置覆盖；优先保证主损失梯度干净，可先在小支持集上验证收益再扩展。
On-Policy 蒸馏中的收益与崩溃：强化学习视角
🧭 LLM 后训练 · On-Policy蒸馏 · RL视角
Zhejiang University · Westlake University
用 RL 视角解释 OPD 收益与崩溃：教师隐式奖励会放大学生的已有采样行为，掩码不健康响应与 SFT 初始化可缓解崩溃。
📌 工作参考价值（4 点）
- 做 LLM 后训练/蒸馏（如生成式推荐文案、Agent 轨迹优化）时，不要把教师模型只当作生成器，要同时审计它作为隐式 reward model 的可靠性；若教师打分和业务质量指标失配，可能系统性放大拼凑长文、重复槽位等低质输出。
- 在 on-policy 训练或在线蒸馏流程中加入「不健康响应 mask」：对超长、重复、包含异常模板的 rollout 直接屏蔽或降权，可低成本遏制 reward hacking。
- 上线蒸馏前先做 SFT 初始化，再切换 on-policy 蒸馏；尤其适合电商推荐解释、搜索 agent 工具调用轨迹等冷启动场景，避免从随机策略开始导致退化。
- 监控 rollout 长度分布、重复 n-gram 比例、KL 偏离等指标，作为早期预警；一旦长度/重复度飙升，优先检查教师偏好是否被错误行为劫持。
Latent-MOPD：隐空间多教师在线蒸馏
🧭 多教师在线蒸馏与表示对齐 ★ 深度解读
Case Western Reserve University · Zillow Group, Inc. · University of Illinois at Chicago · University of Florida
首个表示级多教师在线蒸馏方法，通过路由晚期隐藏状态对齐和逐教师 crossfade 融合多专家能力
📌 工作参考价值（4 点）
- 多领域模型融合时，不要只蒸馏输出分布：在 token-level OPD 基础上增加学生与路由专家的 late-layer hidden states 对齐，能保留专家内部推理信息；电商搜索/推荐/广告多场景 teacher 融合可复用这一思路，避免简单平均 logits 稀释专家置信度。
- 当学生与教师 hidden width 不同，用一个共享线性投影（或小 MLP）桥接，并用少量 student-teacher 状态对做 ridge 回归初始化投影，能降低训练不稳；业务中不同尺寸 CTR/CVR 或生成式推荐模型合并时可直接借鉴。
- 多专家训练时务必保持 domain-pure batches：同一 optimizer step 混入多个 teacher 的表示监督会导致表示 collapse，论文中 interleaved 更新使 MATH-500 从 91.7 掉到 9.8；多场景推荐/Agent 能力融合应按场景分组更新。
- 每个 teacher 使用独立 crossfade 时钟：前期表示监督、后期 token 蒸馏，能稳定多专家训练；若多个 teacher 同源同架构，可先用参数平均（model soup）作为学生初始化，再做少量在线蒸馏，电商多领域模型合并有直接参考价值。
Dr. OPD：学习该跟随哪些教师信号的最优在线蒸馏
🧭 On-policy distillation 自适应 token 加权 ★ 深度解读
Rutgers University
通过双层优化学习 token 级教师信号权重，使学生在在线蒸馏中以 outcome reward 为准则超越教师
📌 工作参考价值（4 点）
- 在蒸馏生成式物品/query 模型时，不要平均地模仿 teacher 的所有 token，可以用 outcome reward（如点击、转化、生成质量分）与 teacher correction 的梯度对齐来给 token 加权。闭式更新 weight = clip(1 + λ * credit, w_min, w_max) 实现简单，λ 在 0.2-0.6 内不敏感，适合线上快速调参。
- 工程上，credit 的计算不需要为每个 token 显式保存参数梯度，用一次 JVP 即可得到所有 token 的方向导数，开销很小；可直接在现有 GRPO/PPO 框架里加一个 JVP + 权重重算步骤，且可以复用 actor optimizer 的二阶矩做 scaling，稳定训练。
- 在业务 LLM 微调中，当 teacher 比 student 强但 reward 信号存在（如 search 中用户点击、query 改写后的检索指标），可先蒸馏后加 reward 加权，可能让 1.7B 小模型超过 4B 教师；对于 base 模型冷启动，若 reward 成功样本太少，提升有限，需要先保证一定的成功 rollout 比例或使用更简单训练子集。
- 可复用的结论：不是所有教师监督都有用，遵循“有利于 reward 的教师信号”才提升业务指标；在 OPD 基础上融合 outcome reward 的方式很重要，简单加 GRPO 或 gate 可能只带来 marginal gains，梯度对齐的 token-level 加权是关键。
MemFold：用在线策略优化学习紧凑软记忆的长上下文个性化
🧭 LLM 长期个性化记忆压缩与强化优化 ★ 深度解读
University of California, Santa Barbara · University of North Carolina at Chapel Hill · Harvard University · University of Wisconsin–Madison
固定预算软记忆+置信门控在线蒸馏，按下游行为而非文本重构优化长程个性化记忆
📌 工作参考价值（4 点）
- 用户长期画像/行为序列记忆：先用 writer 抽取 query 相关的结构化文本记忆，再压缩为固定数量 soft tokens（如 K=256），reader 只消费 K 个向量，推理成本不随历史长度线性增长；适合电商/广告 Agent 在长会话中保持个性化且控制 context 开销。
- 在线策略蒸馏：用冻结的 full-text reader 作为 teacher，只对学生自己采样 token 计算置信门控 σ(β(ℓ_T−ℓ_θ)) 来加权 student 的 token likelihood；无需 teacher 自回归生成，能对推荐文案/回复中局部违背用户偏好的 span 提供密集监督。
- 把标量 reward（点击/转化/偏好命中）与 token 级信号结合：GRPO 负责整体结果，OPD 定位“整体流畅但某个推荐项违背偏好”的错误；工程上同组 reward 方差接近 0 时把 advantages 置 0，避免无效更新。
- 训练期固定 memory snapshot 和 teacher，防止 RL 更新导致记忆漂移；上线前可用 shuffled/null memory 干预验证模型确实依赖实例特定记忆，而不是只背任务先验。
On-Policy 蒸馏中的 Off-Policy 教师模型问题与 SCOUT 框架
🧭 LLM 蒸馏训练 · 教师自适应 ★ 深度解读
Washington University in St. Louis · AWS AI Labs · Carnegie Mellon University · Georgia Institute of Technology
提出 SCOUT：周期性地用学生前缀对教师做结果奖励 RL，缓解教师 off-policy 问题，提升蒸馏效果
📌 工作参考价值（4 点）
- 当用强 LLM 蒸馏小模型做生成式推荐/query 改写/Agent 策略时，教师面对学生生成的中间状态（候选商品序列、推理链）可能给出不可靠的 token 分布。可参考 SCOUT：让学生采样轨迹，取前缀交给教师继续 rollout，用业务可验证奖励（如点击、转化、代码测试结果）做 RL 更新教师，提升教师在这些状态上的监督质量。
- 工程上教师无需每一步同步：每 10 步学生更新后更新一次教师即可保持大部分收益，降低训练成本；前缀长度可以线性递增，从短前缀开始逐渐暴露长序列，避免早期训练过难。
- 若教师是黑盒 API 不可更新，SCOUT 不直接适用，但可以考虑 prompt-based 教师适配或改用可训练的小教师；该方法与已有 loss 级监督信号修改（如信任区域、加权）正交，可以叠加使用。
- 不要把增益简单归因于额外的教师训练：如果没有在学生前缀上条件化教师更新，仅做 same outcome-reward GRPO 提升有限，说明适配学生分布才是关键。
何时何地信任教师：通过熵校准信用分配统一在线蒸馏与 GRPO
🧭 RLVR 与在线蒸馏统一训练
Shanghai Jiao Tong University · Zhejiang University
提出 UECR-GRPO，在 GRPO 更新中统一 verifier 与 teacher 信号，通过熵校准 token 级信用重分配提升数学推理 RLVR
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 训练 LLM 时（如最终成交、点击、任务完成作为 verifier），可以引入一个 teacher LLM 的 log-prob 作为稠密信号；关键是把 teacher 信号和 verifier reward 在 group normalization 与 PPO clipping 之前合并，让 teacher 证据影响 response 排序，而不是事后加权。
- Token 级信用重分配用 response-wise zero-sum projection 保留每个 response 的总任务信用和符号，可借鉴到商品标题生成、对话推荐理由生成等任务：只改变 token 间梯度分配，不改总 reward，降低训练不稳定。
- 全词表 teacher entropy 衰减不确定指导：当 teacher 模型对某些 token 输出很平、熵高时，降低其蒸馏权重；适合电商文本生成中 LLM teacher 噪声大的场景，避免传播错误偏好。
- On-policy 实现中使用 length-normalized teacher score，可避免长文本 recommendation/agent 轨迹中获得更高 teacher score 的长度偏差。
量化模型走到哪，就在哪训练：低比特推理的在线策略蒸馏
🧭 低比特量化 · 在线策略蒸馏 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · Zhongguancun Academy · City University of Hong Kong · NJUST
用在线策略蒸馏把教师监督放到低比特量化模型自己的生成轨迹上，将 MATH-500 平均保留率从 35% 恢复到 70%
📌 工作参考价值（4 点）
- 若线上部署低比特 LLM 做 Agent 规划、长推理或长文案生成，QAD 后不要直接上线：补一个少量步数的 on-policy 蒸馏阶段，用模型自己的 rollout 配合冻结 BF16 teacher 和任务 verifier，能显著减少重复循环和 budget exhaustion。
- 蒸馏阶段可以非常简单：反向 KL token-level + group-relative advantage，β=1 固定无需调参；每个 step 8 prompts、G=32/64 rollouts，几十到数百 step 即可，GPU-hours 比 QAD 少 14–23 倍。业务上可低成本验证。
- 教师选择：1.7B 以上的低比特学生用自身 BF16 副本通常足够，不必上更大教师；只有 0.6B 这类学生本身太弱时才需要更强教师。这能省掉大模型推理成本。
- 训练/部署一致性很关键：rollout 必须走部署时的量化前向路径（INT8 activations + low-bit weights），才能把量化扰动纳入训练分布；类似在生成式推荐、query 改写或 Agent 路径采样中，应让训练 rollout 与实际服务链路一致，避免 teacher-forcing 与线上自回归之间的 exposure bias。
1% 的 Token 已足够：在线策略蒸馏中的梯度估计
🧭 LLM 稀疏在线蒸馏 token 选择
MBZUAI · Ant Group
提出信息效率比 IER，将有用性与梯度估计可靠性结合做稀疏在线蒸馏 token 选择，0.1%-1% 预算匹配全量 OPD
📌 工作参考价值（4 点）
- 做 LLM 在线蒸馏或生成式推荐模型压缩时，不必全量 token 蒸馏；用 IER 结合 usefulness 做稀疏 token 监督，0.1%–1% 预算可接近/超过 full OPD，大幅降低 teacher 调用与训练成本。
- 不要只用 loss 或 uncertainty 选 token；高 useful 的 token 可能梯度估计噪声大，实际更新不稳。可借鉴 IER 的 signal-to-noise 思路，对 token/样本做梯度可靠性二次筛选。
- 候选集近似是工程可落地的关键：不必对全 vocab 精确计算梯度方差，用较小候选集估计 IER，能直接嵌入现有 sampled reverse-KL 训练流程，适合工业级 RLHF/GRPO/蒸馏 pipeline。
- 若是 Agent/电商文案生成等多步 trajectory 蒸馏，可把 IER 扩展到 step/token 级预算分配，优先在梯度可靠且 teacher 有信息量的位置蒸馏，节省长轨迹的训练成本。
校准教师-学生差异的在线策略蒸馏
🧭 LLM 在线策略蒸馏 · 教师偏差校准
Nanjing University · Southeast University · Nanjing University of Posts and Telecommunications
提出 Cal-OPD，用正负特权干预估计教师自身偏差区域，只保留超出的差异作为训练信号
📌 工作参考价值（3 点）
- 在业务中用大模型（teacher）蒸馏线上小模型做排序/召回/文案生成时，教师输出里混有自身偏差，尤其当输入包含特权信息（如用户真实意图、后验成交标签）时偏差更大；不要全盘学习教师输出，可借鉴 Cal-OPD 思路，通过正向/负向干预构造参考区间，只保留超出该区间的差异作为学习目标。
- 对推荐/广告场景里的生成式特征（如 query 改写、兴趣标签、商品卖点）进行蒸馏时，可以先用提示词注入正确与错误上下文，观察教师输出变化来定位不稳定区域，只对稳定差距做蒸馏，减少噪声传播。
- 实验表明只保留约 52-65% 的原始差异信号就能稳定超越标准 OPD，说明蒸馏数据不是越多越好，过滤掉教师自身波动能提升小模型泛化和训练效率，可指导工程上对蒸馏样本的筛选策略。
RetireOPD：面向智能体强化学习的自适应退休在线策略蒸馏
🧭 Agentic RL 训练 · 自适应退出蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group
先奖励训练特权教师，再做在线策略蒸馏，并根据教师-学生分歧与相对成功率自适应退出教师监督
📌 工作参考价值（4 点）
- RLVR 训练 agent 时，别把「prompt 里塞特权信息」当成可靠 teacher：电商/搜索 agent 常想在训练期用用户画像、SKU 知识、检索结果等 offline-only 信息做 dense 监督。该工作表明，同容量模型仅靠输入特权上下文并不一定比无特权学生强，应先用环境奖励对 skill-conditioned teacher 做一轮 RL，再冻结当教师。
- 用在线信号决定何时退出蒸馏，比固定 annealing 或两阶段切点更稳：可以监控教师-学生 token-level logprob gap 的相对变化 ρ，以及学生的 relative competence η。当 gap 停止缩小且学生成功率超过教师一定比例（如 0.9）时退出 OPD，只保留 GRPO/RL。此逻辑适合跨品类、多模型尺度训练，不用逐任务调退火步数。
- 稀疏奖励 + 特权 teacher 的组合能显著加速多轮 agent 前期学习：业务里做购物 agent、搜索交互 agent、客服多轮决策时，可以先 OPD 加速起步，再在冲突点后转纯 RL，避免教师天花板。退出后还能省掉 teacher forward pass，降低训练与后续微调成本。
- 如果离线有技能库、查询改写规则、投放策略等仅训练期可用信息，可参考其 SkillBank + keyword retrieval 方式：将特权技能作为 teacher 输入，学生部署时不依赖这些信息，适合线上 latency 敏感但训练期可用的场景。
Lightning Weave：通过能力组合提升推理模型精度-效率前沿
🧭 推理模型 · 能力蒸馏与组合 ★ 深度解读
Massachusetts Institute of Technology · NVIDIA
提出 Lightning Weave，组合独立后训练模型的策略 log-ratio 并稳定离线蒸馏，同时提升推理准确率与 token 效率
📌 工作参考价值（4 点）
- 使用 anchor pair 的 log-ratio 表示能力差异，可迁移到推荐模型蒸馏：从 base 到业务优化模型的策略偏移提取特定能力，避免直接匹配教师分布带来的风格冲突，实现对转化率、多样性等单一目标的精准迁移。
- 多能力加权组合方式可借鉴到生成式推荐/Agent 策略优化：不联合训练冲突目标，而是独立训练不同目标的专家，再在共享状态上组合其 log-ratio 生成单一学生，后续通过权重调节在相关性、多样性、时延等指标间取得可控 Pareto 前沿。
- 离线缓存教师评分 + Tilted-Target DOPD 修正固定点，适合大规模线上蒸馏：让行为策略生成轨迹并一次性缓存多个 anchor 模型打分，训练时只跑学生模型，降低实时服务多教师成本；同时用显式 tilted target 避免离线 KL 估计偏差，稳定收敛。
- 权重扫描获得不同 accuracy-efficiency 档位，可直接用于电商响应质量 vs 成本权衡：按流量价值或场景动态调整组合权重，产出不同档位学生模型或行为模式。
NeoHorse-1：路由 Harness 驱动的 Agentic 后训练与递归自改进
🧭 Agent 后训练 · 路由驱动的课程与蒸馏
TokenRhythm
通过路由 harness 记录能力需求并构建三阶段课程与蒸馏，实现 4B/9B agent 模型的递归自改进后训练闭环
📌 工作参考价值（4 点）
- 利用线上多模型路由日志自动构建训练集：记录每次请求的预测能力需求、选择的模型档位和交互轨迹，形成天然的难度标签；电商/广告场景中可在低成本小模型与大模型路由架构上持续积累数据，定向提升小模型能力。
- 三阶段课程由路由信号组织，先易后难进行 SFT，再衔接 on-policy distillation；相比直接 SFT，让学生模型在自身生成分布上被教师纠正，可稳定提升 agent 工具调用和推理一致性，适合推荐/搜索 agent 的复杂指令跟随。
- 数据准入的多维评估（结构校验 + 六维语义评分 + 子场景标注）值得借鉴：在构建推荐/搜索 agent 的交互数据时，过滤低质量轨迹，避免污染训练集，尤其对工具调用格式和上下文依赖敏感的场景。
- 建立 evaluation→mixture allocation 的闭环：用评测反馈动态调整下一轮训练数据的任务配比，适合多任务持续迭代的电商 Agent 平台（如商品推荐、广告文案、客服工具混合）。
顺序优于联合：On-Policy 蒸馏与 RLVR 的相互作用
🧭 RLVR 与 On-Policy 蒸馏两阶段后训练 ★ 深度解读
University of Alberta · New York University · NYU Shanghai · University of Chicago · University of Waterloo
两阶段 OPD-then-RL 在逻辑与数学推理上稳定优于纯 OPD、纯 RLVR 及所有同一步混合的方法
📌 工作参考价值（4 点）
- 若业务中有稠密教师信号（大模型打分/业务规则）与稀疏奖励（点击、转化），不要每步加权融合；先跑 OPD 把模型推到教师支撑边界，再切 RL 做 reward sharpening，可避免梯度信号打架。
- 切换时机用 OPD 的离线验证分数：验证分数饱和后再切 RL，否则会过早封顶最终效果；电商/推荐里可对应用离线 AUC/召回，验证不再提升时再上策略梯度。
- OPD 冷启动优于离线 SFT：推荐/广告中若只有日志式行为克隆，尝试 on-policy rollout + 教师 soft label 蒸馏，可扩大长尾 query/item 覆盖，再进入 RL 收益更明显。
- 监控 sign conflict ratio 可发现 RL 是否破坏教师阶段的关键参数方向；对 embedding 或 attention 层可设不同保护等级。
重新审视大语言模型在线策略蒸馏：单训练样本
🧭 On-Policy 蒸馏 · 数据效率 ★ 深度解读
Tsinghua University · University of Chinese Academy of Sciences · Northeastern University · University of Illinois Urbana-Champaign · Johns Hopkins University
一个 query 训练数百步即可恢复大部分 full-data OPD 增益，揭示 OPD 数据过剩、算法吸收是瓶颈
📌 工作参考价值（4 点）
- 工业 OPD 数据筛选可转向 state coverage 视角：不是收集更多 prompt，而是选语义多样、能诱导互补状态的少量 query（如 16 个/域即可匹配 full-data MOPD）。在电商 query 改写、生成式推荐、Agent 轨迹生成中，可先对 prompt/query 做语义聚类，取代表点训练，大幅降低标注与训练成本。
- 冷启动或无标注场景可借鉴 content-light 模板与离域日志：只要 teacher 能提供 token-level 监督，chat template + <think> 等空模板或历史对话也能驱动 OPD 接近真实 query 效果；可尝试用模板启动生成式推荐或 Agent 策略蒸馏。
- OPD 训练瓶颈在吸收率而非数据量：固定 states 仍需数百步收敛，说明加大 batch 或数据量未必加速；应优先优化步效率，如 batch reuse、trust region、按 token teacher signal 加权，减少训练步数。
- 多教师蒸馏可按域选少量语义代表 query，每域 16 条即可匹配全量，适合多业务线共享一个生成式推荐/Agent 模型时的数据配比与成本控制。
协调过程监督与结果奖励信用：智能体策略优化 TASPO 框架
🧭 Agent RL 信用分配优化 ★ 深度解读
Zhejiang University
TASPO 用轨迹对齐的特权信息在动作粒度重新分配 GRPO 结果优势，使过程监督不改变结果奖励方向
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 的 RL 训练中，若只有订单、成交等稀疏最终奖励，不要直接把历史成功轨迹作为 teacher 做 SFT/蒸馏目标；可以先离线提取「条件规则/证据」并只对当前会话路径匹配，保留适用的特权指导，否则回退 GRPO，这样能避免无关路径信息带来的梯度冲突。
- 信用分配粒度应放在可执行动作（query、工具调用、商品筛选、消息推送等）而非 token 粒度；把 token 概率变化聚合成 action 级分数、再做 trajectory 内去均值与 tanh 重加权，可显著降低训练方差、提升收敛稳定性，并减少成功轨迹所需交互步数。
- 如果团队已有 GRPO 训练流程，TASPO 的改造很轻：只把 trajectory advantage A_i 换成 eA_i = A_i * w_i，保持 w_i 为正、有界 [1-ε,1+ε]、均值 1。这样 outcome 决定方向与平均更新力度，过程信号只做分配，避免了新增蒸馏 loss 和目标冲突，无需额外环境交互。
- 构造 PI 的外部 analyzer 可以是 frozen 大模型，且对模型选择不敏感（DeepSeek/GLM/Qwen 等差异小），工程上可以低成本复用；但前提是必须从 verified successful sibling rollouts 提取证据，并对目标 trajectory 做显式匹配。
On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
Self-OPD：无教师的流匹配模型在线策略蒸馏
🧭 流匹配模型对齐 · 无教师自蒸馏
Tsinghua University · Zhejiang University · Alibaba Group
提出无需任务专属教师的在线策略蒸馏框架，将学生自探索转为逐步监督，超越现有 RL 与 OPD 方法
📌 工作参考价值（4 点）
- 无教师自蒸馏思想可迁移到生成式推荐或 LLM 对齐：业务中训练任务专属教师模型成本高，可借鉴 Self-OPD 的分支自探索机制，让学生模型通过自身多步采样获得优势信号，减少对复杂教师网络的依赖。
- 多目标奖励融合技巧：在电商搜索/推荐中常需同时优化点击、转化、多样性等指标，Self-OPD 在 reward 层面融合归一化分数而非在梯度层面直接加权，能缓解目标冲突，可在多目标 RL 或 LLM 微调中尝试。
- 分支探索 + 优势加权更新：生成式推荐或文案生成场景中，可使用类似“确定性基线 + 随机分支”的方式产生多样化候选，通过奖励对比计算优势，再用 pull-push 目标引导模型，可能提升生成结果的 reward 对齐效率。
- 工程实现上注意 SDE 候选与方差归一化：该方法引入 SDE 分支和方差归一化来稳定训练，对于训练不稳定或高方差的 RL 任务有借鉴意义，但需注意计算开销翻倍。
Open-MOPD：诊断并修复多教师在线蒸馏中的能力失衡
🧭 多教师在线蒸馏 · 优化预算平衡 ★ 深度解读
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University
提出 token-share balancing、gap-aware 分配与 reward refresh 三种机制，将多教师在线蒸馏能力集成恢复率从 35.6% 提升到 83.4%
📌 工作参考价值（4 点）
- 多任务/多领域训练时不要只看 prompt/sample 比例，要统计 token-level 梯度贡献。短输出任务（如 query 推荐、push 文案）即使 prompt 占比合理，梯度 token 占比可能极低（论文中 IF 占 20.3% prompt 但仅 0.99% 梯度 token）。可借鉴 token-share balancing，按目标 token share 加权 loss，避免单纯过采样挤压长序列任务的 prompt 多样性。
- 动态预算分配：在多目标 RL 或蒸馏中，根据每个 domain 当前 teacher-student gap（或 reward magnitude）动态调整 loss weight，优先分配给 gap 大的任务，并对权重做 clip 防止正反馈发散。推荐系统多任务（CTR/CVR/时长）可监控各任务 reward 幅度变化，设计类似 gap-following allocation 的机制，避免训练后期预算被已收敛任务吸走。
- reward refresh 在 rollout 复用 + 多步 inner update 的工程设置下，用当前策略重算 student-dependent 项（如 log-prob），缓存 teacher 输出，几乎无额外开销，可减少 off-policy 陈旧性。适合大规模 RL/蒸馏 pipeline，特别是对 latency 敏感的多智能体/多能力整合训练。
- 进行多专家能力合并前，先构建 oracle routing 测试床隔离路由误差，量化每个 domain 的 recovered headroom，定位训练中最早停滞、恢复率最低的任务，再有针对性地调整优化预算。
超越模仿：基于推理进展的在线蒸馏奖励过滤
🧭 推理蒸馏训练 · 过程奖励过滤 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Zhejiang University · University of Alberta
提出 R2-OPD，用独立过程奖励检测并过滤在线蒸馏中与推理进展冲突的教师信号
📌 工作参考价值（4 点）
- 业务中若用小模型蒸馏大模型做 query 改写、推荐理由生成或搜索意图理解，不要只对齐教师 token 分布：可引入与业务目标一致的过程信号（如是否推进任务完成、是否命中正确商品），检测并 mask 教师信号冲突的片段，避免学到“像老师但错误”的行为。
- 训练多步 Agent 推理链路（如商品筛选、排序解释）时，用 rollout 估计中间状态 solve probability 并把相邻同向 progress 合并后再评估，能显著降低 Monte Carlo 噪声，比逐 step 使用过程奖励更稳定。
- 工程上 masking 比例和 segment 颗粒度很关键：论文中 q=30% 是甜点，q=50% 会损害性能；业务落地建议先做小比例过滤，并对不确定样本保守回退，避免误删有效教师信号。
- 该方法只在离线蒸馏阶段引入额外 rollout 计算，不影响线上推理时延；成本较高，可只对高价值或难样本启用。
On-Policy蒸馏泛化的双面性：同源对齐与多教师跷跷板效应
🧭 On-policy蒸馏泛化与多教师集成 ★ 深度解读
University of Science and Technology of China · Peking University · IQuest Research · MBZUAI · Zhejiang University
控制实验发现OPD迁移教师推理行为而非答案，同源教师跨域泛化强但使多教师路由出现跷跷板效应
📌 工作参考价值（4 点）
- 教师选型：做 LLM 蒸馏/对齐时，优先选同 base model 的 same-origin 教师，而不是只看 benchmark 更强的跨架构/异源教师；尤其在需要跨域、跨语言或长程推理迁移时，同源教师能带来更稳定的全局策略对齐。
- 训练数据筛选：不要按 teacher 是否解出问题过滤样本，teacher 端 pass-rate=0 的难题同样有价值；对 student 已稳定解决的 prompt 可以动态丢弃，能带来小幅一致性提升并节省算力。
- 多教师/多域路由：在多任务业务（搜索、推荐、广告文案等多域 LLM）里，不能把 prompt 路由当作能力隔离墙；教师影响会跨域拉扯，调整某一教师数据比例会产生跷跷板效应，必须全局监控所有域指标，且同源教师拉动力更强。
- 诊断方法：除了训练 loss，监控 teacher-student 的 top-K token overlap 等策略对齐指标，可判断蒸馏是真正对齐整体策略还是仅拟合训练分布；在 Agent 策略蒸馏中可用来控制跨能力迁移。
SimpleOPD：简单与分词器无关的长上下文推理在线策略蒸馏
🧭 On-policy 蒸馏 · 跨 tokenizer 长上下文推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
用共享文本空间跨 tokenizer 对齐并加入终止 token 掩码与参考 KL 稳定长上下文推理蒸馏
📌 工作参考价值（4 点）
- 跨模型/跨 tokenizer 蒸馏工程：业务中想把大推理模型蒸馏到小线上模型，不必做人工 token 映射，直接让 teacher 用自己的 tokenizer 读 student 生成的文本，只对齐文本 span 完全相同的 token；实验中 lexical overlap 始终 >90%，大部分监督信号可以保留，适合 Qwen/Llama/GLM/Gemma 等不同家族的在线蒸馏。
- 长链推理蒸馏的稳定性 trick：OPD 直接从长上下文老师搬推理能力，学生容易出现长度爆炸、截断、重复；可以照搬两个简单做法：① 掩盖 </think>、<|im_end|> 等终止/结构 token 的 advantage，不强制学生模仿老师的终止倾向；② 加 student-reference KL，防止策略偏移。Intern-S2 和 Qwen3.5-35B 上能有效把截断率降到接近 0。
- KL 系数是重要的超参：师生差距越大，越需要更强的 reference KL；GLM-4.7 消融显示 0.5 不足、1.2 过度，1.0 最均衡。业务上做蒸馏可以优先按模型家族差异设 0.5/1.0 两档。
- 训练数据聚焦更利于能力迁移：仅用 proof-only 数据蒸馏，目标证明能力提升最大；混入通用可验证数学数据反而削弱 ProofBench 迁移。类比到业务：要蒸馏商品知识、query 改写或策略推理，训练集应保持任务纯净，不要混太多无关任务。
元策略：基于可执行LLM策略的生成式排序
🧭 LLM策略生成· Generator-Evaluator架构 ★ 深度解读
Taobao & Tmall Group of Alibaba · Wuhan University · The University of Hong Kong · University of Cambridge · Alibaba
用LLM生成结构化排序策略而非物品序列，通过生产路径重放与蒸馏实现零延迟个性化排序
📌 工作参考价值（4 点）
- LLM生成策略而非列表：用带类型JSON控制多目标权重、内容类型偏好等，通过编译器注入现有Generator，避免直接生成物品序列带来的集成难题。电商/广告混合流可直接复用这一思路，将LLM作为策略层，不侵入精排队列。
- 生产路径重放训练：重放真实请求日志，让LLM策略与现有Generator在同一Evaluator下原子竞争，反馈信号来自当前生产栈而非用户模拟器。推荐系统可借鉴此方法，低成本获得高保真离线RL训练环境。
- 自竞争课程缓解策略坍缩：将LLM频繁输出的编译后策略冻结为新Generator加入竞争池，迫使策略持续探索。在推荐、广告出价策略优化中，可照搬此机制防止模型退化为少数极端组合。
- 评估器路由的奖励增强在线蒸馏：对每个请求，用Evaluator选择最优教师，结合教师token差异与自身GE奖励进行蒸馏，将4B策略压缩至0.8B。多目标排序模型压缩中，可按此方式保留教师间的互补性与在线分布匹配。
面向多语言数学推理的在线策略增量蒸馏
🧭 LLM 后训练 · 多语言蒸馏
NAVER AI Lab
提出 On-Policy Delta Distillation (OPD^2)，用教师模型与基模型的概率差作为学习信号，在多语言数学推理上优于 OPD
📌 工作参考价值（4 点）
- Delta 信号可引入推荐 Agent 训练：电商搜索/推荐中，若已有强监督教师模型（如大模型生成的推理路径），可直接使用 OPD^2 的 delta 蒸馏技巧（教师 vs 基模型概率差）替代传统 RL，训练轻量 Agent，提升token级反馈效率。
- 多语言场景可用单语数据提升跨语言性能：实验表明英语蒸馏可泛化到韩语/日语，但需防语言漂移。类似地，若以英语搜索日志训练问答Agent，需混合目标语言数据保持语言一致性。
- 在线采样+教师反馈框架适合动态数据流：推荐系统常面临分布漂移，OPD 的在线策略生成思想可迁移至用户反馈动态更新下的模型滚动训练，用当前模型生成样本再让教师打分，提升样本利用率。
- 概率差作为学习信号可借鉴至对比学习：电商搜索中，正负样本概率差可类似 OPD^2 构造细粒度标签，训练学生模型区分优劣结果，尤其适合 beam search 中的候选排序。
SPOT：在线策略蒸馏的稀疏探测与结果校准
🧭 在线策略蒸馏 · 稀疏探测与结果校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · East China Normal University · Beihang University · City University of Hong Kong
通过稀疏探测关键位置并利用下游结果校准蒸馏目标，在有限预算下提升推理模型多样解覆盖。
📌 工作参考价值（4 点）
- 稀疏探测+结果校准框架：在生成式推荐或对话Agent中，可在模型不确定性高且候选集紧凑的位置进行额外探索，利用下游业务指标（点击、转化）校准局部目标，替代全量教师监督。
- 位置重要性得分：使用公式 s_t = 归一化熵 × top-k概率质量 × 学生-教师gap 的连乘得分，作为触发多路采样的信号，可用于AIGC场景平衡生成质量与多样性。
- 指数倾斜校准：结果校准的封闭解（式10）提供了一种在保持KL约束下依奖励调整概率分布的方法，可应用于离线策略评估或A/B测试中的概率调整。
- 预算可控的工程化设计：探测位置数M、候选数k_p和每条候选续写数N_p均为显式超参数，便于在实践中根据延迟和成本进行权衡，仅对最有希望的候选展开额外推理。
状态匹配路由与上下文自蒸馏解决多轮 Agent 特权指导失配
🧭 Agent 多轮训练中状态感知的蒸馏策略 ★ 深度解读
University of Electronic Science and Technology of China
提出状态匹配路由决定何时使用特权轨迹蒸馏，并构造状态上下文化教师语境，显著提升多轮策略效果
📌 工作参考价值（4 点）
- 多轮 Agent 训练中谨慎使用特权轨迹：在对话推荐、搜索等交互式 Agent 中，若用成功日志作为特权指导，直接对全部轮次施加蒸馏会因状态不匹配而降低有效策略概率。可借鉴状态匹配路由思想，仅在与当前执行进度兼容的轮次上使用特权信号。
- 构建轻量结构化状态签名：不必学习状态匹配模型，用手工设计的确定性规则（如位置、库存、页面类型、已选选项）即可快速判断当前状态是否与参考轨迹的某个前置状态兼容，适合工业落地时的快速迭代。
- 教师上下文中加入状态摘要与候选动作：在蒸馏时，除完整成功路径外，添加当前状态的简要总结和匹配到的候选下一步行动，比单纯给完整路径更能引导教师产生正确偏好。这可以用于电商导购 Agent 的多轮决策优化。
- 路由与上下文解耦设计：控制实验表明，仅路由掉不匹配轮次（减少蒸馏噪声）就能带来主要收益，而加入状态上下文化上下文能进一步小幅提升。工程实现时可先做简单的路由遮挡，再逐步增强上下文。
当教师误导时：感知虚假信号的在线策略蒸馏
🧭 在线策略蒸馏 · 虚假信号过滤 ★ 深度解读
Zhejiang University · ByteDance · Shanghai Artificial Intelligence Laboratory
提出 SA-OPD，通过过滤教师信号中输入无关的虚假成分，提升在线策略蒸馏的可靠性与效果。
📌 工作参考价值（4 点）
- 蒸馏偏差诊断：在推荐/Agent 的序列生成蒸馏中，可借鉴“移除 prompt 后教师信号变化”的探测法，判断教师是否依赖输入无关的语言先验、流行度或格式模板，而非用户/上下文真实需求。
- 选择性掩码策略：通过组合低输入接地性 + 高教师-学生分歧两个条件，精准滤除高冲击虚假更新，保留输入相关监督；推荐场景可类似过滤由标题党、模板短语引入的梯度噪声。
- 动态阈值控制：自适应调节过滤比例（约束 FLMR），防止过度丢弃有用信号，适合在训练过程不平稳的视觉或复杂 Agent 交互场景中使用。
- 工程实现轻量：无需额外网络参数，仅增加一次无 prompt 的 log-prob 评估，易于集成到现有 On-Policy 蒸馏流水线中。
EvoReason：自演进推理基元引导的在线策略蒸馏用于生成式推荐潜在推理
🧭 生成式推荐·潜在推理·在线策略蒸馏 ★ 深度解读
Kuaishou Technology · Shenzhen University
提取可复用推理原语并自演进，引导结构化链式思考，通过在线蒸馏将推理能力迁移到潜在表示，实现高效生成式推荐。
📌 工作参考价值（4 点）
- 借鉴从 Agent 轨迹中诱导推理原语的方法，将复杂用户意图推理拆解为可复用的函数式工具（如偏好提取、冲突检测），提升 CoT 稳定性与可解释性，适用电商搜索推荐场景。
- 在线策略蒸馏机制可将大模型推理能力压缩进轻量潜在表示：通过置信门控过滤低质量监督，KV 缓存对齐将显式推理信息注入潜在空间，线上推理无需生成显式 CoT，延迟极低。
- 自演进原语库的设计支持根据线上反馈动态更新推理模式，适应电商促销、季节变化等分布迁移，无需全模型重训练。
- 教师与学生共享 backbone，训练时仅通过额外上下文增强，不引入额外参数，工程实现友好。
在失败处蒸馏：自适应教师引导恢复负RL组梯度信号
🧭 RL训练优化 · 在线蒸馏 · 梯度信号修复 ★ 深度解读
TJUNLP Lab, Tianjin University · Meituan Longcat Team
针对GRPO中全错样本的梯度消失，用教师置信度加权OPD并选择高价值token蒸馏，辅以正确轨迹SFT，修复学习信号。
📌 工作参考价值（4 点）
- 识别负零方差prompt并施加额外监督：在GRPO训练中，当一批采样全部错误（负零方差）时，梯度消失。可借鉴本文，仅在这类prompt上启用教师蒸馏或SFT，避免对所有数据盲目使用融合损失。
- 教师置信度加权蒸馏信号：在应用OPD时，用教师模型在该prompt上的平均成功率作为权重，缩放token级优势。对应到业务 Agent 训练，若用更大模型打分，可将其置信度作为信号强弱指示。
- 高价值token选择性蒸馏：仅对高学生熵或师生概率差异大的token进行蒸馏，减缓收敛到教师上限，保留RL探索空间。可迁移到推荐话术生成、搜索改写等任务，防止模型过早模仿强模型而丧失多样性。
- 辅以SFT注入正梯度：对负零方差prompt，额外用教师生成的正确答案做SFT，能缓解OPD的优势不对称问题。在实际应用中，对模型反复失败的困难样本，准备少量高质量示范轨迹能有效引导。
缓解跨教师在线策略蒸馏的风格偏差：Lightning OPD 2.0
🧭 跨教师在线策略蒸馏的风格偏差校正 ★ 深度解读
NVIDIA
通过交叉拟合风格残差化消除教师不一致带来的风格Token偏差，使OPD不再依赖教师一致性
📌 工作参考价值（4 点）
- 在电商/推荐系统的生成式模型蒸馏中，若SFT数据生成器和蒸馏教师不同（如SFT用GPT-4，蒸馏用Gemini），可直接引入风格残差化：构建Token身份与上下文（位置+surprisal）双查找表，用交叉拟合估计风格偏差并从Token级监督信号中减去，避免误伤内容相关token。
- 工程实现上，离线预计算SFT rollout和教师log概率后，分K折交叉拟合查找表，再用残差信号替换原始教师分数，即插即用于Lightning OPD框架，几乎无额外推理开销。
- 当因成本或数据来源多样无法维持教师一致性时，此方法解耦了SFT生成器与蒸馏教师的选择，允许独立优化，同样适用于推荐场景中多模型协同蒸馏（如召回、排序模型蒸馏）。
- 分析思路值得借鉴：用响应平衡(reduce)避免长文本主导估计，用position/surprisal bins代替完整前缀上下文，防止过分稀疏且保留足够泛化性，可推广至其他序列生成任务的跨模型校准。
Flux-OPD：使用进化上下文的策略蒸馏
🧭 进化上下文下的策略蒸馏方法 ★ 深度解读
Peking University · Kling Team · Tsinghua University · Shanghai Jiao Tong University · Zhongguancun Academy
通过反向KL分解揭示蒸馏目标为几何平均，用进化上下文进行校正和加权，解决开放域任务缺乏可验证奖励的问题
📌 工作参考价值（4 点）
- 动态上下文的思路可迁移到实时偏好学习：在推荐/Agent场景，用户实时行为轨迹类似论文中的进化上下文，可以周期性地从学生最新生成结果中提取偏好信号，注入蒸馏目标，持续对齐用户兴趣变化。
- 几何平均作为多教师融合目标更稳健：当多个教师分布（如不同模态、不同专家）存在冲突时，取几何平均而非算术平均能强化高一致性下的监督，减弱分歧影响，可用于多目标蒸馏或ensemble融合。
- 冲突项作为自适应加权信号：方法中利用冲突项（−log Z）动态调节上下文影响力，类似于多任务学习中根据梯度冲突调整损失权重；电商推荐中多目标（如点击率与转化率）冲突时，可借鉴该机制去无痛地平衡。
- 校正锚点策略可稳定生成式推荐训练：将上下文差异作为修正信号叠加在稳定锚点（如常规教师分布）上，避免蒸馏目标剧烈震荡，适合需要保持生成稳定性的场景（如商品描述生成、广告文案改写）。
传递接力棒：轨迹接力的On-Policy蒸馏
🧭 On-policy 蒸馏 · 接力轨迹
Zhejiang University · Yuvion Team, Alibaba Group
通过检测前缀失败并让教师短暂接管生成修正轨迹，将错误前缀转化为有效蒸馏信号，显著提升小模型数学推理性能
📌 工作参考价值（4 点）
- 前缀失败的无标签检测：利用教师和学生预测分布差异（如相同位置token概率差）作为接力触发信号，无需额外标注，可直接用于对话Agent的推理步骤监控，在发现错误倾向时自动引入更强模型纠正。
- 接力蒸馏减轻训练浪费：电商场景中，如果推荐理由生成或查询改写模型产生错误前缀，可用更大模型局部修正后继续，既能保留学生探索，又能提供正确梯度，比全丢弃重采样更高效。
- 接力预算控制成本：限制最大接力步数和干预次数，将修正集中在关键早期位置，平衡干预收益与计算开销，适合在线学习或大规模分布式训练。
- 思路可迁移至多步推理Agent：当Agent进行多步骤决策（如购物决策、多轮对话）时，若某步走错，可让教师模型介入修正后再交还，最终全程轨迹用于优化学生，提升整体成功率。
多轮长程规划的物理学：预训练与后训练阶段的智能体蒸馏研究
🧭 Agent 多轮长程规划能力分析
中国科学院自动化研究所复杂系统认知与决策智能重点实验室 · 中国科学院大学人工智能学院
构建可控环境系统分析LLM智能体多轮长程规划的获取、塑造与集成机制
📌 工作参考价值（4 点）
- 预训练数据构造：构建多轮交互推荐/搜索Agent时，预训练阶段加入显式世界模型（如状态转移链式推理）数据，并混合少量长程轨迹，仅靠原子技能无法组合泛化。
- 后训练算法选择：若预训练数据质量不高或任务轮次长，优先使用在线策略蒸馏（OPD）而非GRPO，OPD更新方向更一致，有效区域更广。
- 错误累积控制：长程任务中次优轨迹的误差放大效应显著，在推荐Agent流程中可植入早期信号校验或中断机制，防止错误级联。
- 多教师知识集成：引入不同领域知识时，避免直接蒸馏冲突的规划模式，可通过寻找共享模式实现跨环境泛化，部分共享模式支持持续学习。
弱到强在线策略蒸馏：用更弱的模型提升强学生
🧭 弱到强蒸馏 · 在线策略蒸馏 ★ 深度解读
University of Maryland, College Park · Microsoft Research · MBZUAI
通过对比弱模型提取能力方向并锚定到学生基模型，构造代理教师实现弱到强蒸馏，使强学生超越弱教师
📌 工作参考价值（4 点）
- 弱教师也能提升强模型：当没有更强的教师可用时（如前沿推荐模型或Agent策略网络），用一对更小的模型（如不同规模的基模型或不同训练阶段的专家）通过logit差异提取“能力方向”，可以继续提升强模型。
- 代理教师构造方法：在在线策略蒸馏中，代理教师 = 学生基模型 + α*(正模型 − 负模型) logits。这种构造避免了分布不匹配，α控制信号强度与分布邻近度的权衡（图4：α≈1.0最优），可直接用于多领域推荐模型或Agent策略的合并。
- 低成本多专家合并：多个弱领域专家（如不同品类推荐模型）可通过各自与基础模型的对比方向求和，一次性蒸馏进同一个学生，无需顺序微调或担心灾难性遗忘（Eq.12）。
- 保留通用能力：锚定学生基模型作为参考分布，使代理教师保持与学生分布邻近，避免直接蒸馏弱教师导致的通用能力退化，这对需要保持广泛推荐能力的系统尤为重要。
基于字节前缀边缘化的跨分词器在线策略蒸馏
🧭 跨 tokenizer 蒸馏训练
University of Chinese Academy of Sciences · KwaiKAT Team · Zhejiang University · The Chinese University of Hong Kong
在共享字节空间将教师分布边缘化到学生词汇，无损对齐概率质量，大幅提升跨分词器蒸馏性能
📌 工作参考价值（4 点）
- 若业务中需融合多个使用不同 tokenizer 的文本模型（如商品标题/描述编码器、多语言模型），可借鉴 BPM 将教师分布无损映射到学生词汇，避免丢弃概率或语义错配。
- 字节前缀映射表可离线构建，蒸馏时仅需查表聚合，工程可行；残差类别处理未匹配质量，保证分布完整，可直接移植到自定义蒸馏 loss。
- 对于多模态推荐模型（图文混合 tokenizer 不同），BPM 提供了一种统一概率空间的思路，有助于跨模态知识迁移。
- 在 Agent 工具调用或搜索链路的 LLM 蒸馏中，若教师和学生分词器不一致，BPM 能保留关键 token 的分布结构，减少性能损失。
蒸馏强化学习：将教师监督融入LLM后训练梯度
🧭 强化学习 · 知识蒸馏融合 ★ 深度解读
Nankai University · Zhongguancun Academy · Beijing Institute of Technology · Zhejiang University · Institute of Automation, Chinese Academy of Sciences
通过逆向重要性采样将教师知识注入RL梯度，实现选择性token级信用重分配
📌 工作参考价值（4 点）
- RL训练的教师信号注入：在推荐模型或Agent的RL训练中，可以用一个更强的教师模型对学生生成的序列进行token级重加权（教师/学生概率比），取代传统的KL散度模仿，避免无条件模仿导致的局部最优和模型坍塌。
- 负样本重置技巧：只在优势为正的样本上应用教师权重，负优势样本权重重置为1。在电商推荐场景中，可确保只从“好”的推荐路径中学习教师知识，避免在失败路径上模仿教师而遭受更大惩罚。
- 序列几何归一化：当学生和教师分布差异大时，教师对学生生成token的概率往往偏低，会导致乘积权重骤减，该方法除以序列内几何均值，仅保留相对偏好，稳定训练。尤其适用于跨模型结构（如不同推荐模型家族）的知识迁移。
- 跨模型家族鲁棒性：在师生模型结构差异大(如DeepSeek到Qwen)的蒸馏中，传统OPD容易失效，而Distilled RL仍能稳定提升效果，对需要混合异构模型推荐的场景有参考价值。
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。
揭秘 On-Policy 蒸馏：角色、病理与调控
🧭 LLM 训练 · On-Policy 知识蒸馏
The Chinese University of Hong Kong · Tencent AI Lab
系统分析 OPD 作为探索催化剂的两大病理（师生失配与长度剥削），并提出简易信号调控予以克服
📌 工作参考价值（4 点）
- 蒸馏信号质量比教师规模更关键：在电商搜索/推荐场景蒸馏大模型（如生成式推荐理由、查询词）时，应优先保障 token 级监督信号的准确性，而非盲目使用更大教师模型。
- 防止长度剥削的方法可直接复用：当学生模型通过生成长度作弊（如冗余填充或过早截断）优化时，可引入 advantage clipping 与 log-scale compression 来消除长度相关性，使优化目标重回推理质量，这对生成式推荐、对话 Agent 等任务尤其有效。
- Prompt 多样性优先于单问题采样数量：在构造 OPD 训练数据时，增加样本多样性比增加同一 prompt 的采样次数更能提升探索效率，可指导搜索推荐场景中的指令数据扩增。
- 在推荐 Agent 训练中采用类似信号调控：若使用 OPD 训练基于 LLM 的推荐 Agent 与学生模型，可借鉴本文的轻量级信号修正手段，规避师生不匹配导致的错误引导。
ShortOPD：通过短到长在轨蒸馏恢复剪枝后LLM生成能力
🧭 结构化剪枝后LLM的生成能力恢复训练
ByteDance · Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
基于短到长的在轨蒸馏，消除冗余后缀以加速剪枝LLM的生成恢复训练
📌 工作参考价值（4 点）
- 剪枝压缩后的大模型在线上生成时出现质量崩塌（如重复后缀），可直接借鉴 ShortOPD 的在轨蒸馏恢复方案，用未剪枝模型做教师，快速回血生成能力。
- 短到长训练调度能大幅度减少低信息量重复令牌的训练开销，适合需要严格控制训练预算的场景（如电商智能客服、推荐理由生成），可加速迭代。
- 重复前缀检测与截断策略可作为通用技巧，集成到长文本生成的在线学习或 RLHF 流程中，避免模型在无效 token 上浪费算力。
- 对于 Agent 系统中的核心大模型，若经历量化或剪枝后指令跟随能力下降，可用此方法微调恢复，保障多轮交互的任务完成率。
多教师在线蒸馏中的行为杠杆不平衡与Soft Clamp校准
🧭 多教师在线蒸馏 · 工具调用校准 ★ 深度解读
Ant Group
指出多教师在线蒸馏中局部高杠杆 token 信号会导致工具过呼叫等行为偏移，提出 Soft Clamp 动态压缩极端 token 级散度来校准
📌 工作参考价值（4 点）
- 诊断视角迁移：不要只看全局 loss 或 token 暴露量，要监控决策边界 token（如 <tool_call> 的教师-学生概率差），这个“行为杠杆”能早期预警生成模式漂移。在电商推荐 Agent 或搜索多步推理中，可对关键动作 token（“下单”“点击”“调用函数名”）进行类似监控。
- Soft Clamp 轻量校准：无需改动路由或增加模型，对每个 token 的 JS 散度做 batch 内动态阈值压缩：\(d'_i = d_i \cdot C / \text{stopgrad}(d_i)\)，超过阈值只截断前向值但保留梯度。这个方法可嵌入现有 GKD 训练流程，应对多教师蒸馏中某一类行为过拟合的问题（如过度推荐、频繁改写 query）。
- 多教师蒸馏的风险评估：当不同教师负责不同行为模式（如工具调用 vs. 直接回答、生成 vs. 改写）时，即使数据量和散度平衡，也会因模式入口 token 的高杠杆产生行为偏移。在设计推荐系统的多教师对齐（例如点击率教师 vs. 停留时长教师）时，需检查关键决策 token 的局部信号强度。
- 格式锚定：结构化输出（如 XML 工具调用、推荐列表格式）容易发生模式漂移，加入少量监督 loss（如 sft alpha=0.3）作为格式锚定可保持输出可解析，这一 trick 可直接用于生成式推荐中的 Semantic ID 序列格式约束。
基于前缀重放的多轮在线策略蒸馏
🧭 Agent 多轮交互蒸馏 · 前缀重放 ★ 深度解读
Microsoft Research · University of Amsterdam
用教师前缀重放替代环境交互，以步骤衰减平衡学生相关性与教师可靠性，实现加速免工具调用的Agent蒸馏
📌 工作参考价值（4 点）
- 离线环境训练Agent：若业务中存在多轮对话推荐、工具调用Agent（如商品推荐对话、搜索推荐辅助），可用教师模型的历史交互轨迹作为离线重放池，学生只在重放前缀上生成动作，无需实时调用外部API或模拟器，大幅降低训练基建成本。
- 前缀分布控制策略：将多轮蒸馏转化为“有效前缀分布设计”的思路，可迁移到序列生成或对话生成的密度蒸馏，通过在轨迹不同位置施以衰减权重，抑制后期累积误差对监督信号的影响，改善学生模型的长程表现。
- 复用RL训练轨迹：教师进行在线策略强化学习（如GRPO）时产生的轨迹可直接作为蒸馏前缀池，无需额外采集费用，该“免费”数据复用模式可用于业务中已有RL训练管线的场景，提升样本效率。
- 多环境统一蒸馏：若需要训练一个同时处理多个垂直领域（如搜索、推荐、工具调用）的通用Agent，可将各环境的教师轨迹分别收集后合并为一个离线池，从而避免同时部署多个在线环境，降低系统工程复杂度。
UI-MOPD：面向持续GUI智能体学习的多平台在线蒸馏方法
🧭 GUI Agent 持续学习与跨平台适应
Tsinghua Shenzhen International Graduate School, Tsinghua University · Xiaomi · Harbin Institute of Technology, Shenzhen · Zhejiang University · Peng Cheng Laboratory
提出多教师在线蒸馏持续学习框架，动态选择平台教师，缓解跨平台GUI智能体的灾难性遗忘与行为冲突
📌 工作参考价值（4 点）
- 电商多端（APP/PC/小程序）自动化运营 Agent 可采用多教师在线蒸馏，避免不同平台操作惯例冲突，保留端侧特有行为模式，减少为每端单独维护模型的成本。
- 平台条件蒸馏通过环境信号动态路由选择特定教师，能使统一策略模型灵活适应多端环境，适合搜索推荐系统中跨端交互流程的自动化。
- 构建跨平台操作轨迹数据时，可借鉴 Uni-GUI 的收集策略（如多源采集、平台覆盖、操作可执行性过滤），提升训练数据质量与平台泛化性。
- 策略回放机制可迁移至电商 Agent 的持续学习中，防止新增端侧任务时旧端侧能力的灾难性遗忘。
GR2：面向工业级重排序的生成式推理重排框架
🧭 LLM 推理重排序 · Semantic ID ★ 深度解读
Meta AI
通过语义 ID 中训练、推理链蒸馏和可验证奖励 RL，将 LLM 推理引入重排序并解决工业部署瓶颈
📌 工作参考价值（4 点）
- 用 Semantic ID 弥合 LLM 与物品表征鸿沟：传统非语义 ID 不在 LLM 词表中，直接使用会导致推理断裂。GR2 采用的 tokenizer 可将物品映射为≥99% 唯一性的 Semantic ID，并混入中训练语料，使 LLM 能够直接基于物品语义进行推理。电商/广告场景中，尤其适合商品、广告创意这类属性丰富的实体。
- OPD 替代 SFT 防止大规模训练坍塌：当教师-学生大小差距悬殊时，普通 SFT 会出现灾难性遗忘，OPD 以 on-policy 方式用 KL 锚定教师分布，1.7B 学生可恢复 32B 教师 82% 的收益，大幅降低推理成本。在预算有限又需要蒸馏大模型推理能力时，这是比 SFT 更稳定的方案。
- 重排序奖励设计中的反作弊策略：RL 训练时 LLM 会通过直接抄袭输入顺序或利用位置偏差来获取格式奖励分。GR2 采用条件奖励——当输出等于输入顺序且输入非最优时，将排名奖励归零，仅保留格式分，可有效抑制 reward hacking。这对任何使用 RL 做 listwise 优化（如列表广告排序、推荐 feed 排序）的场景都有直接借鉴价值。
- 思考链内部化降低服务成本：在推理增强 RL 后再做一次无 CoT 的 RL 微调，可将推理能力内化到参数中，在推理时无需生成思考链，推理成本降低约 15 倍且排名质量不降。适合对延迟敏感的在线上文，比如搜索广告重排、推荐首屏展示。
多教师同策略蒸馏：LLM后训练中的能力整合
🧭 多教师同策略蒸馏·RL能力整合
Peking University · LLM Core, Xiaomi · University of Hong Kong · Renmin University of China
提出多教师同策略蒸馏（MOPD），将领域RL教师模型在学生自身rollout上蒸馏，避免曝光偏差并集成多种能力
📌 工作参考价值（4 点）
- 统一多技能代理的训练方案：电商搜索/推荐场景中，常需一个模型同时具备搜索意图解析、商品描述生成、议价对话等能力。可借鉴MOPD，先为每个技能单独用RL训练教师，再通过同策略蒸馏融合成一个学生模型，避免多任务联合RL的耦合与冲突。
- 稳定的稠密监督信号：在将教师知识整合给学生时，使用学生自身rollout与教师分布做token级KL散度损失，替代稀疏奖励，训练更平稳，适合推荐系统这类输出空间大、奖励稀疏的任务。
- 解除领域间迭代耦合：MOPD支持各领域教师并行独立优化，大幅提升多个业务线同时快速迭代的效率；电商公司可让不同团队独立优化“搜索式推荐”、“售后话术”等教师，定期蒸馏更新统一的前向模型。
- 缓解灾难性遗忘：同策略蒸馏直接从教师分布学习，而非仅靠稀疏RL奖励，可更完整地继承每个教师的能力，在扩展到新推荐场景或增加新任务时保护已学技能。
Qwen-Image-2.0-RL：基于 GRPO 强化学习与在线蒸馏的图像生成后训练
🧭 图像生成后训练 · RLHF 对齐
Qwen (https://qwen.ai)
利用 GRPO 强化学习、复合奖励模型和在线蒸馏，统一提升文本到图像与图像编辑任务的视觉质量与指令遵循能力
📌 工作参考价值（4 点）
- 构建任务特定的复合奖励模型（对齐、美学、一致性等维度）的思想，可迁移到多模态推荐系统的质量评估中，用于设计更全面的用户偏好奖励函数。
- GRPO 在线强化学习结合混合 CFG 策略，在保持预训练知识的同时进行策略优化，可借鉴用于微调基于扩散模型的生成式推荐系统，避免灾难性遗忘。
- 奖励模型的 pointwise scoring + chain-of-thought 推理，能够提升奖励信号可靠性，可应用于 Agent 的任务执行评估或用户模拟器。
- On-policy 蒸馏通过轨迹级速度匹配合并多个专家模型，提供了一种无需额外标注即可整合多任务策略的有效方案，适合推荐场景中合并不同业务线微调模型。
V-Zero：无需答案标签的在线策略蒸馏与对比证据门控细粒度视觉推理框架
🧭 视觉推理 · 无监督蒸馏
Sichuan University · Xi'an Jiaotong University · TeleAI of China Telecom · Peking University
将在线策略蒸馏重新解释为负例无关的stop-gradient对齐，并提出对比证据门控解决轨迹级判别缺失，显著提升细粒度视觉推理效率
📌 工作参考价值（4 点）
- 在线策略蒸馏（OPD）替代标注：在商品图文理解、多模态推荐 Agent 中，可借鉴 OPD 让 MLLM 从自身生成的推理轨迹中学习，彻底摆脱人工标注答案标签的依赖，大幅降低标注成本。
- 对比证据门控机制：用问题相关的区域裁剪（正例）与无关区域（负例）构成视觉对比对，自动评估推理轨迹质量并门控 token 级蒸馏。可用于电商详情页细粒度问答、广告图文一致性校验等场景，提升模型对局部证据的利用能力。
- 训练效率跃升：V-Zero 比 SFT 方法快 5 倍以上，比 RL 基线快 10 倍以上，直接节省计算资源。在搜索推荐 Agent 的视觉子任务训练中，可优先考虑此类免探索、免标注的高效蒸馏方案。
- 与 Agent 框架的集成：方法天然适合 Agent 的多步推理，可将对比证据门控作为内部信号，指导 Agent 在搜索、推荐过程中更精准地聚焦可解释的视觉证据，并实现自我改进。
OPD-Evolver：基于在线策略蒸馏训练整体智能体进化能力
🧭 整体代理进化 · 在线策略蒸馏 ★ 深度解读
LV-NUS Lab · FDU · PKU · Bytedance Inc.
提出快慢双环框架，将结果校准的记忆归因与特权后见蒸馏结合，同时训练经验选择、利用、撰写和管理四种进化能力
📌 工作参考价值（4 点）
- 多级记忆分层与选择：将代理经验按轨迹、技巧、技能、工具分四级存储，并用可学习的 Selector 筛除低价值记忆，可直接用于推荐系统的用户行为记忆或搜索历史管理，避免上下文噪音。
- 结果校准的归因监督：用环境反馈（任务成功/失败）校准记忆价值，生成密集后见标签，可迁移到对话推荐或交互式搜索中对历史交互片段的价值评估。
- 在线策略自蒸馏框架：让学生在自己生成的状态上模仿特权教师的行为，实现选择、执行、撰写、维护四种能力的联合训练，适用于需要持续进化的推荐代理或商品描述生成代理。
- 记忆写入的质量控制：训练代理只生成高未来效用的记忆，避免“记忆污染”，可借鉴到用户标签或知识图谱的自动更新中，确保新增信息对下游任务有正收益。
OneBar：电商视频流中内容驱动的端到端生成式查询推荐
🧭 生成式查询推荐 · 内容grounding与on-policy蒸馏 ★ 深度解读
Zhejiang University · Kuaishou Technology
端到端生成式框架，融合多模态意图grounding与偏好内化蒸馏，实时推荐搜索词，曝光+16.91%，GMV+21.67%
📌 工作参考价值（4 点）
- 在延迟敏感的推荐场景，将多阶段级联压缩为单模型生成，并使用 [SEP] 分隔的紧凑 evidence 序列，离线缓存多模态与协同特征，可实现在 20-30ms 内在线 serving。
- 噪声内容 grounding：构造包含清理文本、多模态摘要、协同行为锚点和过滤后用户历史的 evidence schema，能有效对抗弱元数据下的意图漂移，对生成式推荐应对噪声输入有直接借鉴意义。
- PIOPD 训练范式：用带后验点击 query 的教师模型对学生 on-policy 轨迹做 token 级双向 KL 蒸馏（FKL+RKL+熵正则），无需单独奖励模型，可避免 reward hacking，并与 list-wise 偏好对齐组合使用，适合工业界偏好优化。
- 内建安全拒绝：在 SFT 阶段加入 [REJECT] 训练样本，使模型学会对风险内容拒止生成，减少线上风控坏例，这种机制可推广到其他生成式推荐系统。
Kwai Keye-VL-2.0 技术报告：面向长视频与智能体的多模态基础模型
🧭 多模态大模型 · 长视频理解与智能体 ★ 深度解读
Kuaishou Group
首个在GQA架构上实现DeepSeek稀疏注意力以无损处理256K上下文，并通过跨模态多教师在线蒸馏解决多任务遗忘的多模态模型
📌 工作参考价值（4 点）
- 稀疏注意力用于长序列推荐：DSA 通过 MQA 式索引 + GQA 分组聚合将注意力复杂度从 O(L²) 降至 O(Lk)，这个思路可以直接迁移到用户行为序列建模（如百万级行为 token 的推荐模型），在减少 KV cache 的同时保持关键信息捕获。
- 多教师在线蒸馏解决多任务冲突：MOPD 动态路由 13 个领域专家、按 token 类别缩放优势值的方法，可借鉴到多目标推荐模型训练，避免不同业务目标（点击率、转化率、时长）之间的梯度干扰。
- 视频时序定位能力复用：论文中构建的 TVG、帧级感知、场景密集描述等数据与训练流水线，可迁移到电商直播场景——精确截取商品讲解片段、自动生成直播看点，提升内容分发效率。
- 合成数据 RL 的设计范式：基于可控编辑图像对+规则可验证 reward 的 RL 方法，可用于商品图片差异检测、属性变更验证等场景，低成本获得精准监督信号。
信任区域在线策略蒸馏
🧭 在线策略蒸馏稳定化训练 ★ 深度解读
Samsung Research, Beijing, China · University of Oxford · Peking University
通过信任区域划分、异常值前向KL估计和离线指导，解决在线策略蒸馏中分布不匹配导致的训练不稳定问题，显著提升小推理模型性能。
📌 工作参考价值（5 点）
- 面向电商/推荐/Agent 从业者的可借鉴点：
- 信任区域思想可迁移至多智体策略更新：仅在教师与学生策略一致性高的区域执行在线策略蒸馏，避免极端策略梯度导致的训练崩溃，类似推荐系统中用置信度过滤不可靠的在线信号。
- 离线指导（Off-Policy Guidance）机制可借鉴：用教师前缀引导学生生成，并用前向KL模仿学习，适合在推荐对话或Agent任务中利用高质量模板引导小模型探索有效路径。
- 异常值前向KL估计提供了一种廉价的信息保留方式：当教师-学生分布严重不匹配时，用top-k前向KL替代完全丢弃或裁剪，可在电商搜索query改写等场景中保留多样性信号。
- 混合目标设计与资源权衡：TrOPD同时使用K1估计器（O(n)内存）和top-k前向KL（O(nk)内存），为生成式推荐中的长序列推理蒸馏提供了内存可控的参考，尤其在序列推荐或文案生成等需要长输出的场景下。
Draft-OPD：投机草案模型的在线策略蒸馏
🧭 投机解码 · 在线策略蒸馏 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University · The Chinese University of Hong Kong · Peking University
提出 Draft-OPD，通过错误位置重放的在线蒸馏，解决草案模型 SFT 的分布偏移，将接受长度与加速比提升超过 20%。
📌 工作参考价值（4 点）
- 错误驱动的在线训练思路可迁移至生成式推荐：将物品推荐视为逐 token 生成，模仿草案模型接收目标模型验证的过程，对推荐序列中被“拒绝”的错误 token 进行重播与针对性蒸馏，提升生成质量。
- 接受/拒绝的非对称 KL 设计可复用于轻量级打分模型：在排序或召回阶段，用目标模型（如大模型）监督轻量级模型时，对正确预测和错误预测分别使用 forward KL 和 reverse KL，让轻量模型更专注于自身易错模式。
- 利用验证阶段的暴露错误进行针对性训练：在 Agent 多智体协作中，可记录交互过程中被另一智能体“拒绝”的决策点，对这些状态进行重放学习，使策略模型更聚焦于合作失败的关键状态。
- 解耦 rollout 稳定性和策略信号的思想：在强化学习或蒸馏中，当学生无法独立生成高质量轨迹时，可借助教师辅助 rollout 维持稳定性，再通过锚点重放学生自身的错误决策，兼顾训练稳定与策略改进。
Pair-In, Pair-Out：统一输入压缩与输出多token预测的高效LLM推理
🧭 高效推理 · 输入压缩与多token预测统一 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · AI Platform, Xiaohongshu Inc. · University of Electronic Science and Technology of China · Institute of Automation, Chinese Academy of Sciences
通过对称的 pair-in 压缩和 pair-out MTP 头，用 on-policy 蒸馏免费训练的置信头替代验证器，实现精度不降的推理加速。
📌 工作参考价值（4 点）
- 将输入压缩与输出多token预测视为对称操作：若业务下游需部署推理流水线，可借鉴 PIPO 将 compressor 和 MTP head 镜像组合，降低工程复杂度，且可直接利用已有 MTP 模块。
- 用 on-policy 蒸馏的教师分布训练置信头，无需额外成本：在已有 OPD 流程中，教师/学生 token 概率天然提供 speculative decoding 的接受率标签，可零开销训练一个轻量 MLP 替代昂贵的 verifier 前传，适合电商/Agent 场景中高频推理的成本控制。
- 通过随机 padding 注入训练，让模型学会单双token灵活切换：业务中可能遇到不确定的 draft 质量，可参照 PIPO 的做法，在 SFT 阶段按比例插入 padding token，使模型获得拒绝 draft 的回退能力，提升可靠性。
- 在长上下文高吞吐场景优势明显：PIPO 的 TTFT 加速在长 prompt 时更显著（2K→2.64× @128K），适合需要处理长文档、多轮对话或复杂推理链的电商推荐解释、Agent 规划等任务。
策略蒸馏中的令牌可教性：并非所有分歧都可学习
🧭 LLM 训练 · 策略蒸馏令牌选择优化
The Hong Kong Polytechnic University · InfiX.ai
提出令牌可教性区分可学习与不可兼容的分歧，TA-OPD 仅保留 5% 高可教性令牌蒸馏即可超越全令牌训练
📌 工作参考价值（4 点）
- 蒸馏效率与效果提升：当在电商场景中蒸馏LLM用于商品描述、推荐理由或Agent对话时，可借鉴TA-OPD仅对“可教性”高的token位置施加蒸馏，避免低效甚至有害的监督信号，实验仅用5%令牌即超越全令牌蒸馏，显著节省计算。
- 无需额外模型：TA-OPD仅利用教师和学生logits计算局部兼容性，无需奖励模型或验证器，易于集成到现有蒸馏流程（如生成式推荐中的语义ID生成器蒸馏）。
- 信号质量重新审视：揭示了原始KL散度作为学习价值代理的缺陷，提示在设计蒸馏损失时，应优先关注教师分布与学生top-K候选重叠高的token，而非简单加权高分歧位置，这对多智能体策略迁移中避免灾难性遗忘有参考价值。
- 算法轻量化：可教性计算简单，能在训练时动态筛选token，为推荐系统或Agent中频繁更新的小模型提供了一种低成本、高性能的在线蒸馏策略。
GenEvolve: 基于工具编排与视觉经验蒸馏的自进化图像生成智能体
🧭 自进化图像生成智能体 · 视觉经验蒸馏
The Hong Kong University of Science and Technology (Guangzhou) · Meitian · The Hong Kong University of Science and Technology · National University of Singapore
通过对比多条生成轨迹提取结构化视觉经验，以 token 级蒸馏实现图像生成智能体的自进化
📌 工作参考价值（4 点）
- 自进化训练范式可迁移到推荐/对话 Agent：通过生成多条候选轨迹、对比优劣并蒸馏 token 级监督，可让推荐系统智能体（如对话式购物助手）从交互中自行学会更好的搜索策略、知识激活与工具调用。
- 工具编排的密集监督替代稀疏奖励：采用 privileged teacher 提供 token 级差异信号，比标量奖励更精细，可提升 Agent 在复杂工具选择（如商品搜索 API、图像编辑工具）中的决策质量，适合电商场景中的多步操作。
- 视觉经验的结构化表示：将最佳/最差轨迹差异抽象为可学习的“经验”，可借鉴到多模态推荐中大模型对图片、商品的细粒度对比与知识激活。
- 自建数据与基准的思路：为业务中缺少训练数据的问题提供了参考：通过构造任务和自动采样轨迹来生成训练信号，可应用于自建垂直领域的 Agent 训练数据集。
基于逐点互信息的抗自蒸馏推理强化学习
🧭 强化学习训练方法 · 推理优化
Xiaohongshu Inc. · Institute of Automation, Chinese Academy of Sciences
通过逐点互信息分析揭示自蒸馏在推理任务中的失效根源，提出逆向散度与熵门控，使 GRPO 基线训练步数减少 2-10 倍，准确率最高提升 11.5 点
📌 工作参考价值（4 点）
- 信用分配改进：传统 on-policy 自蒸馏在推理任务中会系统性压低探索性 tokens（如“Wait”“Let”）的权重，抬高结构连接词权重，AntiSD 逆向设计可更有效分配 token 级信用，可借鉴到 Agent 多步决策训练，避免模型过早陷入确定性模式。
- 熵门控机制：当教师熵崩塌时自动关闭蒸馏项，防止后期训练坍缩。在电商对话或 Agent 规划中，可类似监控策略熵，动态切换训练信号，避免多样性丧失。
- 训练加速：将 AntiSD 作为 GRPO 的即插即用替换，可在极少量训练步内达到基线性能，适合资源受限的线上模型迭代，可直接复用到有 token 级反馈的 RLVR 场景。
- 超参鲁棒性：方法对额外超参不敏感，工程落地成本低，可将“抗自蒸馏”视作一种通用的训练 trick 加入现有 RLHF/GRPO 流程。